Introducing multiverse analysis to bibliometrics: The case of team size effects on disruptive research

Produzieren kleine Forschungsteams originellere wissenschaftliche Beiträge als große Teams? Diese These wurde in einem viel zitierten Artikel in Nature vertreten (siehe https://doi.org/10.1038/s41586-019-0941-9) und hat wichtige wissenschaftspolitische Implikationen: Wenn kleine Teams tatsächlich systematisch stärker zur Entwicklung neuer Ideen beitragen, könnten Förderorganisationen daraus ableiten, kleinere Forschungsgruppen gezielt zu unterstützen. In der bibliometrischen Fachcommunity wurde jedoch intensiv diskutiert, ob dieser Befund robust ist oder davon abhängt, welche Daten, Kennzahlen und statistischen Modelle verwendet werden. Christian Leibel (LMU München, Max-Planck-Gesellschaft) und Lutz Bornmann (Max-Planck-Gesellschaft) greifen diese Debatte in einer neuen Publikation in Quantitative Science Studies auf.

Die Studie nutzt den oben beschriebenen Fall als Anlass, um Multiverse-Analyse in die Bibliometrie einzuführen. Dabei wird nicht nur ein einziges statistisches Modell berechnet. Stattdessen werden viele plausible Varianten derselben Analyse systematisch miteinander verglichen. So lässt sich prüfen, ob ein Ergebnis stabil bleibt oder nur unter bestimmten methodischen Annahmen auftritt.

Die Ergebnisse zeigen, dass der zentrale Befund des Nature-Artikels grundsätzlich robust ist: Kleine Teams schneiden bei der dort verwendeten Kennzahl im Durchschnitt besser ab als große Teams. Diese Kennzahl versucht, aus Zitationsmustern abzuleiten, ob eine Publikation bestehende Forschungsrichtungen eher fortführt oder neue Wege eröffnet. Vereinfacht gesagt: Wenn spätere Arbeiten eine neue Publikation zitieren, aber die ältere Literatur, auf der diese Publikation aufbaut, kaum noch erwähnen, wird dies als Hinweis darauf gewertet, dass die neue Publikation eine eigenständigere Forschungsrichtung angestoßen hat. Nach dieser Logik gelten höhere Werte als Zeichen für besonders originelle oder richtungsweisende Forschung.

Die Analyse zeigt, dass kleine Teams nach dieser Kennzahl tatsächlich höhere Werte erreichen. Zugleich hängt die Größe dieses Effekts stark von methodischen Entscheidungen ab. In einigen Modellen ist der Unterschied zwischen kleinen und großen Teams deutlich sichtbar, in anderen ist er sehr klein. Insgesamt sind die Effekte zu gering, um daraus weitreichende wissenschaftspolitische Empfehlungen abzuleiten.

Die Autoren argumentieren daher, dass bibliometrische Befunde nicht nur statistisch signifikant, sondern auch praktisch relevant und methodisch robust sein müssen, bevor sie als Grundlage für Forschungspolitik dienen können. Die Studie zeigt außerdem, dass Multiverse-Analysen helfen können, die Unsicherheit hinter bibliometrischen Ergebnissen transparenter zu machen. Damit liefert der Beitrag nicht nur neue Erkenntnisse zur Rolle von Teamgröße in der Wissenschaft, sondern auch einen methodischen Vorschlag für eine robustere und nachvollziehbarere Forschungsevaluation.